小文件相关论文
Hadoop分布式存储系统（Hadoop Distributed File System,HDFS）由于具有高可靠、易扩展、高容错性等特点,已经广泛的运用在大数据存储......
大数据是当前计算机领域研究的热点问题之一。企业通过大数据分析消费者行为,部门销售数据等指标,能得出对企业增加市场竞争力产生......
当前,大数据时代中的数据信息呈爆炸式的增长,传统的技术架构已经不能满足处理海量数据的需求。Apache基金研发的Hadoop平台迅速被......
随着信息技术的提高和互联网飞速发展,企业和个人数据出现爆炸式增长。研究调查预测到2020年全球数据量将达到35ZB。大数据时代已......
伴随着互联网的快速发展与普及,越来越多的个人用户在使用网络应用的同时产生大量的数据。而云技术的发展也使得更多的企业用户选......
云存储系统为存储大规模数据应运而生,其底层采用分布式文件系统作为存储平台。HDFS(Hadoop Distributed File Sysytem)是开源的云......
冠字号码由冠号和数字编号两个部分组成,是人民币的身份标识。金融部门对冠字号码统计归档可以有效监管纸币的流通情况。冠字号码......
随着互联网、大数据、云计算等领域的高速发展,全球数据量呈现出爆炸式地增长,给存储系统提出了非常大的挑战,分布式文件系统的出......
随着科技的发展,互联网行业得到了高速发展,国家也大力发展互联网+,其中大型服务架构,服务器集群,云计算,电子商务,社交通信等成为......
随着互联网的高速发展,各类社交网络、电商网络、在线文档平台呈现爆发式增长。与此同时,网络数据量中的图片、文本文档、音视频等......
网络对讲机因其价格低、通话质量优和通信距离长等优点,被广泛地应用到工业、安保和消防等领域。随着网络对讲用户数剧增,原有网络......
云环境是指能够从动态虚拟化的资源池中向用户或者各种应用系统按需提供计算能力、存储能力或虚拟机服务等的互联网或者大数据环境......
随着信息技术的高速发展,数据呈现指数增长的趋势,海量数据的存在对于社会与科技的发展是机遇也是挑战。大数据给传统的技术带来了......
随着信息化的发展,网络化的普及,与人们生活息息相关的数据以爆炸式指数的形式快速增长。尽管Hadoop分布式文件系统在分布式存储领......
人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时......
该文设计了一种高性能的面向云存储系统的元数据存储引擎(MUSE)。首先，其底层物理存储模块采用LSM-tree模型的高速key-value存储引......
针对现有技术中对小文件性能优化的效率低、运算不稳定等问题,研究出适用的解决方案。该方案基于OpenStack云平台构建软件定义对象......
针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始......
为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法。充分考虑到数......
针对HDFS处理时空小文件效率不高的问题,从用户的访问规律和访问数据自身属性这两者之间的相关性上出发,将用户访问流看成对数据文......
首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节......
摘要：HDFS（Hadoop Distributed File System）是目前面向云计算应用最为广泛的分布式文件系统，然而其面对海量小文件存储场景时其存在Na......
Hadoop分布式文件系统（HDFS）适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,......
为解决Ceph系统在处理小文件时,由于小文件被频繁访问时,集群需要在多个存储节点之间不断查找文件,导致系统读取性能较低的问题,本......
基于Hadoop海量小文件合并的策略研究,一方面为了减轻Name Node的元数据量,利用Eclipse开发工具实现了Har、HBase、Sequence File......
社交网站和电子商务等网络服务发展迅速，这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统，如HDFS（Hadoop d......
随着物联网、云计算以及大数据技术的飞速发展,小文件的数量正以指数级快速增长,这些小文件的存储给文件系统带来容量和数据处理效......
网络系统在运行过程中会产生大量日志,采用Java编程技术将各安全设备日志转换为XML文件。在对日志文件存储过程中,现有的存储系统......
HDFS设计之初只考虑到如何更好地处理大文件，并没有针对海量小文件进行优化，因此，当使用HDFS管理海量指纹数据小文件时会出现NameNode......
针对海量小文件访问问题的挑战，提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统（HVFS）来管理数十亿个小文件的......
在对分布式文件系统可靠性、可用性以及可伸缩性进行深入研究后，设计并实现了一套可伸缩的分布式文件系统，针对当前互联网应用中大部......
摘要：为了创新电力营销服务，基于受众程度高的微信公众平台的特点及其优势，结合营销供电服务内容，本文设计了电网企业基于微信在在线服......
随着移动互联网迅猛发展,移动终端的硬件资源如计算能力、存储能力及电池续航能力等等,已严重制约了移动互联网的发展。针对移动终......
医疗旅游是目前兴起的一个新型产业,面对今后日益增长的巨大数据,有效数据的存储和用户的快速访问是急需解决的课题。Hadoop的出现......
目前的文件系统,例如本地文件系统、分布式文件系统等,在数据管理、数据存储和缓存管理等实现方式和策略都是针对大文件设计的。对......
数据的海量存储需求对传统数据存储模式带来了巨大的挑战。目前大多数集群／分布式文件系统都被设计用来管理大文件。当在处理海量的......
摘 要：随着开源云计算平台Hadoop的广泛应用，由于其HDFS是针对大文件读写而设计的，因此，大量小文件处理会给Hadoop的扩展性和性能带来......
由于Hadoop自身不适合处理海量的小文件,论文提出了一种小文件处理方案,将小文件归并到Sequence File中有效地解决了NameNode内存......
由于多媒体技术不断发展,学习资源呈爆炸式增长,给资源存储提出了新的挑战。Hadoop平台对小文件的存储和访问存在内存消耗高、存储......
MP3作为数字音乐时代的事实标准,数量已相当巨大,用户的访问需求也与日俱增,有效存储和管理海量的MP3文件,为用户提供良好的体验,......
针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方......
为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析......
针对冠字号小图片存储到HDFS系统中带来的访问瓶颈问题,改进了原有的HDFS系统,新提出的分布式系统机制是充分基于文件相关性(File ......
该文设计了一种高性能的面向云存储系统的元数据存储引擎（MUSE）。首先,其底层物理存储模块采用LSM-tree模型的高速key-value存储引擎......
Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海......
针对HDFS最初是为流式访问大文件而开发的，而对于大量小文件的存储效率不高问题，采用MapFile设计一个HDFS中存储小文件的方案．该方案......
随着社会信息化的发展,互联网的使用已经非常普及。全球大数据进入高速发展阶段,随之产生的数据呈指数级增长,如何存储和分析这些......
Web2.0时代的到来使得越来越多的图片需要被存储到数据库中,海量的图片信息、非结构化的数据结构、频繁的读写操作都为数据存储提......
本文简要分析了非结构化数据的管理模式，提出用分层的网络架构来管理非结构化数据，将其分为了5个功能层次，以HDFS的云存储系统中的小......
